# NVIDIA GPU

ReDrafterは、RNN下書きモデルと動的ツリー注意力機構を組み合わせることで、大規模言語モデル（LLM）のNVIDIA GPU上での推論速度を大幅に向上させる、斬新な推測的デコード手法です。この技術はLLMのトークン生成を高速化し、ユーザーが経験する可能性のある遅延を削減するだけでなく、GPUの使用量とエネルギー消費量も削減します。ReDrafterはApple機械学習研究チームによって開発され、NVIDIAとの連携によりNVIDIA TensorRT-LLM推論加速フレームワークに統合され、NVIDIA GPUを使用する機械学習開発者により高速なトークン生成能力を提供します。

AIKitは、大規模言語モデル（LLM）のホスティング、デプロイ、構築、微調整のプロセスを簡素化することを目的としたオープンソースツールです。OpenAI APIと互換性のあるREST APIを提供し、様々な推論機能とフォーマットをサポートすることで、ユーザーは任意の互換性のあるクライアントを使用してリクエストを送信できます。さらに、AIKitはUnslothをサポートする拡張可能な微調整インターフェースを提供し、ユーザーに迅速でメモリ効率が高く、使いやすい微調整エクスペリエンスを提供します。

FluidStackは、AIおよびLLMトレーニングに無限の規模を提供する、最先端のGPUクラウドプラットフォームです。世界中のデータセンターネットワークを通じて、50,000を超えるGPUにアクセスできます。FluidStackは無料トライアルを提供しており、必要に応じてシームレスに規模を拡張できます。世界中のデータセンターの未利用のGPUリソースを集約し、世界最大規模のGPUクラウドプラットフォームを提供しています。数分で数千個のGPUを展開し、新しいモデルのトレーニングや既存顧客のサポートに使用できます。同時に、FluidStackは最新のNVIDIA GPUを提供し、市場最高の価格で、クラウド費用を70％以上削減できます。